卷积一直是现代深层神经网络的核心运作。众所周知,可以在傅立叶变换域中实现卷积。在本文中,我们建议使用二进制块WALSH-HATAMARD变换(WHT)而不是傅里叶变换。我们使用基于WHT的二进制层来替换深度神经网络中的一些常规卷积层。我们本文利用了一维(1-D)和二维(2-D)二进制WHT。在两个1-D和2-D层中,我们计算输入特征图的二进制WHT,并使用非线性去噪该WHT域系数,该非线性通过将软阈值与TanH函数组合而获得的非线性。在去噪后,我们计算反相WHT。我们使用1d-wht来取代$ 1 \ times 1 $卷积层,2d-wht层可以取代3 $ \ times $ 3卷积层和挤压和激发层。具有可培训重量的2D-WHT层也可以在全局平均池(间隙)层之前插入以辅助致密层。通过这种方式,我们可以显着降低可训练参数的衡量参数的数量。在本文中,我们将WHT层实施到MobileNet-V2,MobileNet-V3大,并重新阅读,以显着降低参数的数量,以可忽略不计的精度损失。此外,根据我们的速度测试,2D-FWWHT层的运行大约是常规3美元3美元3美元的速度大约为19.51次较少的RAM使用率在NVIDIA Jetson Nano实验中的使用率。
translated by 谷歌翻译